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基于 循环 神经 网 络 和 注意 力 模型 的 文本 情感 分 析 
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摘 要 : 文本 情感 分 析 是 自然 语言 处 理 领域 的 一 大 分 支 ， 其 发 展 不 仅 在 自然 语言 处 理 领域 有 重大 的 影响 ， 更 是 在 政治 、 
经 济 、 社 会 科学 等 受 人 们 主观 观点 影响 较 大 的 领域 有 着 深远 的 影响 。 深 度 学 习 在 文本 情感 分 析 中 的 作用 越 来 越 重 要 。 
将 循环 神经 网 络 中 的 长 短期 记忆 网 络 和 前 馈 注 意 力 模型 相 结合 ， 提 出 一 种 文本 情感 分 析 方案 。 在 基本 长 短期 记忆 网 络 
中 加 入 前 馈 注 意 力 模型 ， 并 在 Tensorflow 深度 学 习 框架 下 对 方案 进行 了 实现 。 根 据 准 确 率 、 召 回 率 和 Fl 测度 等 衡量 
指标 ， 与 现 有 的 方案 对 比 表 明 ， 提 出 的 方案 较 传 统 的 机 器 学 习 方 法 和 单纯 的 长 短期 记忆 网 络 的 方法 有 明显 的 优势 。 
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Text sentiment analysis based on recurrent neural networks and attention model 
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China) 


Abstract: Sentiment analysis is a big branch in the field of natural language processing. The development of text sentiment 


analysis not only has a great influence in the field of natural language processing, but also has a profound influence in the 


fields of politics, economy and social sciences which are influenced by people's subjective view. The role of deep learning in 
Oo text sentiment analysis is becoming more and more important. A text sentiment analysis scheme was proposed based on Long 
a Short-Term Memory(LSTM) networks and feedforward attention model. It adopts feedforward attention model in basic Long 
Short-Term Memory networks. The scheme was implemented under the framework of Tensorflow depth learning. According to 
the parameters of precision, recall and Fl measures, the scheme was compared with the existing scheme. The results show that 
the model proposed in this paper has improved significantly compared with the traditional machine learning method and the 
traditional Long Short-Term Memory networks. 
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成 为 了 中 外 学 者 近年 来 的 研究 热点 。 
随 着 互联 网 的 发 展 ， 文 本 数据 规模 的 不 断 增加 ， 利 用 深度 
近年 来 ， 互 联网 信息 的 爆炸 式 增长 使 得 自然 语言 处 理 占据 ”学习 进行 文本 情感 分 析 逐 渐 发 展 起 来 。 由 于 深度 学 习 在 各 个 领 
着 至 关 重 要 的 位 置 ， 无 论 是 学 术 界 还 是 工业 界 ， 对 海量 文本 及 域 的 成 功 应 用 和 在 文本 情感 分 析 领 域 的 应 用 ， 本 文 提 出 一 种 基 
数据 的 处 理 都 颇 为 感 兴趣 。 文 本 情感 分 析 作 为 自然 语言 处 理 的 于 长 短期 记忆 网 络 和 注意 力 模 型 的 结构 来 进行 文本 情感 分 析 的 
一 部 分 ， 其 发 展 不 仅 在 自然 语言 处 理 领域 有 重大 的 影响 ， 更 是 。 工作 ， 并 进行 试验 ， 经 过 验证 ， 本 文 提出 的 方法 是 有 效 的 。 
eae 等 受 人 们 主观 观点 影响 较 大 的 领域 有 1 ”相关 工作 
着 深远 的 影响 。 
文本 情感 分 析 是 指 对 包含 用 户 表 示 的 观点 、 喜 好 、 情 感 等 文本 情感 分 析 常 用 的 方法 主要 是 基于 情感 词典 的 文本 情感 
的 主观 性 文本 进行 检测 、 分 析 以 及 挖掘 。 伴 随 着 互联 网 的 发 展 ， ”分 析 和 基于 传统 机 器 学 习 算 法 的 文本 情感 分 析 。 基 于 词典 的 方 
人 们 在 网 上 对 产品 、 新 闻 、 话 题 、 时 等 方面 的 内 容 都 开 ”法 主要 是 通过 匹配 情感 词典 中 的 情感 词 ， 通 过 一 定 的 规则 ， 对 
始 发 表 自 己 主观 的 观点 及 看 法 ， 分 析 大 家 的 看 法 观点 中 的 情感 ” 文本 进行 评分 ， 最 终 得 出 情感 极 性 的 过 程 。Kim 和 Hovy 提出 
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骨 的 算法 帆 ， 该 方法 以 WordNet 情感 词典 中 的 近 义 


司 反 义 词 关 系 以 及 一 些 给 定 的 带 有 积极 和 消极 情感 的 情感 词 为 


础 ， 采 用 引导 策略 构成 新 的 情感 词典 ， 通 过 乘 以 句子 中 情绪 


j 的 分 数 来 确定 句子 的 情感 方向 。 基 于 词典 的 文本 情感 分 析 方 


期 内 成 为 主流 ， 并 且 诞 生 了 各 种 词典 ， 具 体 可 参见 


于 需要 过 多 的 人 工 标注 数据 ， 该 方法 费时 费力 。 


录用 稿 

种 基于 词 
证 

词 
法 在 一 段 时 
文献 [2]。 但 
自前 基于 词 


的 分 析 方 法 已 经 用 的 比较 少 了 。 


基于 常规 的 机 器 学 习 算法 的 方法 主要 是 将 文本 情感 分 析 问 


题 看 作 是 文本 分 类 问题 来 解决 的 。 由 于 情感 分 类 是 将 文本 分 为 


积极 和 消极 ， 


所 以 情感 分 析 更 加 注重 对 表达 情感 的 词语 和 句子 


的 研究 。Pang 等 人 中 最 先 发 表 论文 提出 了 采用 监督 学 习 


(supervised 
朴素 贝 叶 斯 
持 向 量 机 (s 
影评 文本 进 


learning ) 算法 进行 文本 情感 分 类 ， 他 们 分 别 使 用 
(naive Bayes)， 最 大 (maximum entropy) 和 支 
upport vector machine，SVM) 等 监督 学 习 方 法 对 


了 了 情感 分 类 。 大 量 研究 表明 ， 支 持 向 量 机 算法 在 


文本 情感 分 析 方面 效果 优秀 。 这 些 方法 也 有 其 缺点 ， 实 现 虽 然 


容易 ， 但 泛 化 能 力 较 差 ， 在 某 一 领域 表现 优秀 的 算法 换个 领域 
可 能 将 表现 很 差 。 
近年 来 ， 随 着 深度 学 习 在 自然 语言 处 理 方面 的 应 用 ， 自 然 


语言 处 理 有 了 很 大 的 发 展 。 而 文本 情感 分 析 也 越 来 越 多 地 用 到 


:= 


了 深度 学 习 算 法 。Bengiot 最 早 使 用 神经 网 络 来 构建 语言 模型 ， 
于 该 模型 参数 很 多 , 训练 成 本 很 高 , 所 以 谷歌 公司 的 Mikolov 
等 人 通过 简化 该 模型 , 提出 了 word2vec 模型 , 实现 了 CBOW 
和 
了 


1 Skip-gram 两 种 框架 且 被 用 于 多 个 领域 。Kimlg 提 出 使 用 卷 积 
经 网 络 (convolutional neural network，CNN ) 进行 句子 建 模 ， 
坚决 情感 分 类 任务 ， 在 多 个 数据 集 上 均 取 得 了 很 好 的 结果 。 


Santos 等 中 利用 深度 卷 积 神经 网 络 对 短文 本 进行 了 情感 分 析 。 
Irsoy 等 人 [8 使 用 循环 神经 网 络 (recurrent neural networks, RNN) 


为 句子 建 模 ， 而 长 短期 记忆 模型 (long short-term memory， 
LSTM) 作为 循环 神经 网 络 的 一 个 模型 ， 也 被 Tai 等 人 包 证 实 能 


解决 情感 分 析 问 题 。LSTM 是 一 种 特殊 的 循环 神经 网 络 ， 在 许 
多 任务 中 ，LSTM 模型 表现 得 比 标 准 的 循环 神经 网 络 要 出 色 得 


多 。 注 意 力 模型 由 Bahdanau 等 人 0 提出， 最 先 被 用 于 机 器 釉 
译 领域 ， 并 在 该 领域 取得 了 不 错 的 效果 ， 随 后 被 应 用 于 谷歌 
经 网 络 翻译 系统 。 
随 着 深度 学 习 在 情感 分 析 方 面 的 应 用 ， 深 度 学 习 框 


感 分 析 方 面 


Pe 
TH 

洪 
研 
lly 


学 
得 到 了 越 来 越 多 的 应 用 。 基 于 深度 学 习 的 文本 情 


感 分 析 的 详 引 


讨论 可 以 参见 文献 [11]。 


随 着 自然 语言 处 理 在 中 文 上 的 发 展 ， 常 规 的 基于 情感 词典 


和 基于 机 器 学 习 的 传统 算法 在 中 文 文本 情感 分 析 上 也 得 到 了 很 


大 的 发 展 。 中 文 情 感 分 析 沿 用 国外 情感 分 析 的 方法 ， 结 合 中 文 


语言 的 特色 ， 大 多 数 基于 有 监督 学 习 的 研究 都 取得 了 不 错 的 成 
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2 ”基于 长 短期 记忆 网 络 和 注意 力 模型 的 方案 


为 了 实现 文本 情感 分 析 的 目标 ， 本 文 提 出 了 基于 长 短期 记 
忆 网 络 和 注意 力 模型 的 网 络 结构 ， 模 型 结构 如 图 1 所 示 。 该 模 
型 主要 有 两 部 分 组 成 ， 一 部 分 是 长 短期 记忆 神经 网 络 结构 ， 一 
部 分 是 注意 力 模型 结构 。 本 文 提 出 的 模型 的 整体 流程 是 ， 首先 
对 输入 的 文本 句子 利用 词 向 量 模型 来 进行 编码 ， 将 文本 转化 为 
词 向 量 表示 后 ,经 过 基于 长 短期 记忆 网 络 和 注意 力 模 型 的 结构 ， 
通过 全 连接 层 后 通过 分 类 器 完成 文本 情感 分 析 工 作 。 


全 连接 层 


注意 力 模型 


文本 句子 


图 1 基于 长 短期 记忆 网 络 和 注意 力 模型 的 结构 图 
2.1 模型 表示 

给 定 文本 句子 数据 集 D， 其 中 包含 有 文本 X{x1, xo, .…, Xm} 
和 每 个 句子 所 对 应 的 情感 标签 Y{y1, y2, .…, ym}， 其 中 每 个 文本 
句子 由 nn 个 词组 成 ， 表 示 为 {xii, xiz, .…, xin }， 将 最 终 的 目标 
函数 表示 为 


p(YIX) = arg maxf (YIX;0) (1) 
其 中 : 8 代表 该 模型 中 涉及 到 的 所 有 的 参数 ，K*) 代 表 该 模型 的 
形式 化 表达 。 
2.2 长 短 记忆 网 络 (LSTM) 
循环 神经 网 络 的 一 个 核心 思想 是 将 以 前 的 信息 连接 到 当前 
的 任务 中 来 ， 即 对 以 前 的 信息 带 有 一 种 记忆 的 功能 。 由 于 文本 
的 上 下 文 关联 的 特殊 性 质 ， 因 此 在 文本 任务 上 采用 循环 神经 网 
络 能 得 到 更 好 的 效果 。 
LSTM 是 一 种 特殊 的 循环 神经 网 络 ， 是 由 Hochreiter 和 
Schmidhuber 03 在 1997 年 提出 的 。 在 许多 任务 中 ，LSTM 解决 
了 标准 RNN 的 梯度 消失 和 梯度 爆炸 问题 ， 因 此 LSTM 模型 表 
现 得 比 标准 的 循环 神经 网 络 要 出 色 得 多 。 正 是 因为 LSTM 绝 佳 
的 表现 ， 在 本 文 的 情感 分 析 任 务 中 ,决定 采用 LSTM 来 进行 


果 。 深 度 学 习 的 方法 在 中 文 情 感 分 析 中 也 起 着 重要 的 作用 。 文 
献 [12] 对 中 文 情感 分 析 的 进展 做 了 调研 。 


究 并 获取 结果 。LSTM 的 巧妙 之 处 在 于 通过 增加 输入 门限 ， 遗 
忘 门限 和 输出 门限 ， 使 得 自 循环 的 权重 是 变化 的 ， 这 样 使 得 在 
模型 参数 固定 的 情况 下 ， 不 同时 刻 的 积分 尺度 可 以 动态 改变 ， 
从 而 避免 了 梯度 消失 或 者 梯度 膨胀 的 问题 。 
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图 2 长 短期 记忆 网 络 原理 图 
图 2 是 长 短期 记忆 网 络 (LSTM) 的 原理 图 。 其中, x 是 输 
入 数据 ，h 为 LSTM 单元 的 输出 ，C 则 表示 记忆 单元 的 值 。 在 
LSTM 动态 门 结构 中 ， 遗 忘 门 决定 要 忘记 什么 样 的 信息 ， 该 门 
在 读 取 hil 和 x 之后， 输出 一 个 范围 在 0 到 1 之 间 的 数值 ， 
则 表示 要 舍弃 信息 的 百 分 值 ,0 代表 完全 舍弃 ,1 代表 完全 保留 。 
而 天 的 计算 公式 为 
f=o(W: [hy,xe] + by) O) 

其 中 : o 表示 的 是 sigmoid 函数 ，Wi 表示 和 遗 访 门 权重 ，by 
表示 遗忘 门 偏 置 。 
在 图 2 中 ,i 指 的 是 更 新 的 值 ， 用 于 控制 当前 数据 输入 对 
记忆 单元 状态 值 的 影响 。 然 后 ， 经 过 tanh 层 将 会 创建 一 个 新 的 
候选 值 向 量 ， 并 被 加 入 到 状态 中 。 该 过 程 的 两 个 公式 如 下 : 


it = o(Wi: [he_1, xe] + bi (3) 


C. = tanh(We : [hi_1,xi] + be) (4) 


其 中 : Wi 指 的 是 更 新 门 权 重 ，bi 表 示 更 新 门 偏 置 ，tanh 是 双 
正切 函数 ，W 表示 更 新 候选 值 ，bc 指 的 是 更 新 候选 值 偏 置 ， 而 
必 指 的 则 是 候选 值 。 

接着 是 更 新 细胞 状态 ， 把 旧 状 态 与 f 相 乘 ， 丢 弃 掉 已 经 确 
定 的 需要 丢弃 的 信息 ,根据 决定 更 新 每 个 状态 的 程度 进行 变化 。 
更 新 状态 的 公式 如 下 


Ce =fi#Ce1t+ic* Ce G) 
其 中 ，Ci 指 的 是 新 的 状态 值 。 
最 后 ， 决 定 输出 的 值 。 输 出 门 值 wx 控制 记忆 单元 状态 值 的 
输出 ， 输 出 信息 过 程 公式 如 下 : 
or = o(Ws: [he_1,xe] + bo) (0) 
h: = or * tanh(C:) (7) 
其 中 : Ws 表示 更 新 输出 值 的 权重 ，b。 表示 更 新 输出 值 偏 置 ，h 
表示 最 终 确 定 输出 的 部 分 。 
2.3 前 馈 注意 力 模型 
在 文本 分 析 任 务 中 ， 注 意 力 模 型 是 用 来 表示 文本 句子 中 的 
词 与 输出 结果 之 间 的 相关 性 ， 该 模型 最 先 被 应 用 于 机 器 翻译 的 
。 本 文采 用 的 前 馈 注意 力 模型 是 对 常规 的 注意 力 模型 的 
直接 的 简化 ， 该 简化 方式 是 从 整体 序列 中 构造 一 个 单独 的 
向 量 c， 构 造 方式 如 下 : 


e:=a(ht) (8) 


Oo 一 exp(er) 
上 ;> explep) 


(9) 
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c= 


£707hs (10) 


其 中 : a 是 一 个 学 习 函 数 ， 而 现在 它 只 上 


ht 决定。 在 以 上 的 公 


式 中 ， 注 意 力 机 制 可 以 被 认为 是 通过 计算 状态 序列 h 的 自 适 应 
加 权 平 均值 来 构造 输入 序列 的 固定 长 度 的 嵌入 层 c。 


3 是 前 馈 注 意 力 模型 的 示意 图 ， 在 该 图 中 ， 隐 藏 状态 序 


列 h 中 的 向 量 被 馈送 到 学 习 函 数 a (hh)〉 中， 从 而 产生 概率 向 
量 a。 而 向 量 c 是 加 的 加 权 平 均值 ， 权 值 为 a。 
注意 力 机 制 模型 的 优势 是 其 随 着 时 间 的 推移 而 整合 信息 
此 ， 通 过 使 用 这 种 简化 的 注意 力 机 制 ， 即 使 hh 是 采 


By 


能 力 。 


前 馈 的 方式 计算 的 ， 模 型 也 可 以 处 理 可 变 长 度 的 序列 。 


算 完 全 可 以 


行 化 ， 因 而 使 用 前 馈 也 能 导致 庞大 的 效率 增益 。 


本 文 提出 的 模型 是 将 长 短 
力 文本 c 相连 接 ， 作 为 全 连接 


出 结果 。 


期 记忆 模型 的 输出 有 作为 与 注意 


层 的 输入 ， 最 后 经 过 全 连接 层 输 


图 3 


3 ”实验 与 分 析 
3.1 实验 数据 准备 


为 了 验证 本 文 提 出 的 模型 的 


前 馈 注 意 力 机 制 示意 图 


关中 文 


效 性 ， 本 文选 用 了 


店 评论 语 料 (ChnSentiCorp ) 作为 本 文 提出 的 模 


情感 挖掘 的 ; 

型 的 测试 集 ， 该 语 料 是 

店 评论 的 语 

上 自动 采集 ， 并 经 过 整理 而 成 


篇 。 表 1 为 数据 集 样 例 。 


中 科 院 谭 松 波 博 士 收 外 
料 ， 其 公布 的 语 料 规模 为 10000 篇 ， 通 过 从 携程 网 
。 语 料 被 整理 成 4 个 子 集 ， 由 于 
文本 情感 分 析 的 特殊 性 ， 本 文采 用 
的 数据 来 进行 实验 ， 该 语 料 为 平衡 语 料 ， 


整理 的 一 个 酒 
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ChnSentiCorp-Htl-ba-6000 
包含 正 负 类 各 3000 


表 1 ChnSentiCorp 数据 集 样 例 


积极 消极 
地 点 不 错 ， 邻 近 师 范 大 学 ， | 没有 员工 帮 客 人 提 行 李 的 服务 ， 
到 步行 街 走路 15 分 钟 。 房 间 | 房间 灯光 有 点 瞳 ， 插 头 小 。 
很 大 很 舒适 。 
店员 友善 ， 地 点 遍历 ， 房 间 | 肯定 我 不 会 再 住 这 里 了 , 太 陈 旧 


宽敞 ， 住 过 两 次 都 不 错 。 


了 ， 霉 味 太 重 ， 感 觉 不 好 ! 


环境 很 好 ， 地 点 很 方便 ， 服 
务 也 很 好 ， 下 回 还 会 住 。 


环境 一 般 , 住 了 之 后 让 人 感觉 价 
格 和 服务 不 成 比例 ! 


3.2 文本 预 处 理 


由 于 中 文 的 特殊 性 ， 单 独 的 文字 大 多 数 不 能 独立 地 表达 意 
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思 , 需要 对 中 文 文本 进行 分 词 处 理 。 本 文采 用 结巴 分 词 系统 1! 对 
文本 进行 分 析 处 理 。 另 外 ， 文 本 预 处 理 还 包括 去 除 停 用 词 等 相 
关 步 骤 ， 停 用 词 指 的 是 一 些 没 有 实际 含义 的 词语 。 

3.3” 建 模 过 程 
本 文 提 出 的 方案 建 模 过 程 主要 采用 Tensorflow 深度 学 习 框 
架 。 图 4 是 模型 框架 的 构建 过 程 ， 基 于 长 短期 记忆 网 络 和 注意 


本 Correct 
precision = 
Output 
Correct 
recall = —— 
Labeled 


其 中 ，Correct 表示 系统 返回 的 正确 结 


力 模 型 的 方法 进行 情感 分 析 的 实现 方案 在 前 文 已 经 有 了 介绍 。 
模型 构建 采用 的 是 Tensorflow 的 序列 模型 框架 ， 首 先 添 加 
Embedding 层 作 为 模型 的 输入 ， 其 次 添加 LSTM 模型 ， 并 在 
LSTM 的 模型 后 添加 前 馈 注 意 力 机 制 层 ， 在 得 到 句子 的 向 量 表 
示 时 对 评论 文本 中 不 同 的 词 赋予 不 同 的 权 值 ， 然 后 由 这 些 不 同 
权 值 的 词 向 量 加 权 得 到 句子 的 向 量 表示 。 之 后 添加 Dense 层 ， 
以 及 对 Activation 层 采 用 sigmoid 函数 对 文本 进行 分 类 。 男 外 ， 
在 模型 训练 过 程 中 ， 采 用 dropout 以 防止 过 拟 合 。 最 后 ， 编 译 
采用 梯度 下 降 算 法 进行 权重 的 更 新 迭代 。 


model = Sequential() 
model.add(Embedding(len(abc), 256, input_length=maxlen)) 
model.add(LSTM(128, return_sequences=True)) 
model.add(Attention_layer()) 
modeL.add(Dropout(6.5)) 
model.add(Dense(1)) 
model.add(Activation( 'sigmoid')) 
model .compile(loss='binary_crossentropy’, 
optimizer='adam ， 
metrics=[ " accuracy ']) 


图 4 建 模 过 程 部 分 代码 


其 中 ， 前 馈 注 意 力 机 制 层 是 按照 规定 的 格式 自己 构建 的 。 图 5 
是 前 馈 注 意 力 机 制 的 构建 过 程 的 部 分 代码 ， 前 馈 注意 力 机 制 层 


意 
的 构建 过 程 严格 按照 前 文 介绍 的 步 又 ， 而 代码 编写 过 程 也 严格 
按照 Tensorflow 框架 要 求 的 格式 。 


def build(self, input_shape): 
assert len(input_shape) == 


self.W = self,add weight((input_shape[-1], input_shape[-1],), 
initializer=self .init, 
name="{}_W' .format(self.name), 
regularizer=self.W_regularizer, 
constraint=self.W_constraint) 
if self.bias: 
self.b = self.add weight((input_shape[-1],), 
initializer='zero', 
name="{}_b' .format( self.nanme), 
regularizer=self.b_regularizer, 
constraint=self.b_constraint) 


super(Attention_layer, self).build(input_shape) 
def compute_mask(self, input, input_mask=None): 


return None 


图 5 前 馈 注意 力 机 制 的 构建 过 程 

建 模 完成 后 ， 利 用 本 文 准备 的 文本 测试 数据 ， 将 该 模型 应 
于 文本 情感 分 析 并 采用 评价 指标 对 模型 进行 评价 。 
3.4 实验 评价 指标 
准确 率 (precision) 和 召回 率 〈recall) 是 两 个 用 来 评价 分 
类 结果 好 坏 的 指标 ， 定 义 如 下 : 


记 


* http://0ss.io/p/fxsjy/jieba 


E 确 性 ， 而 召回 率 则 } 


衡量 分 类 器 的 ; 


率 的 加 权 调 和 平均 值 ) 来 均衡 这 两 方面 ， 定 义 如 
F1 = 2*precision*recall 
precision+recall 


3.5 实验 结果 与 分 析 
本 文选 用 维 直 


百科 中 文 语 料 库 作为 训 


Siy 命 作 期 和 


_ Chin 
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果 数 ，Output 表示 系统 返 
回 的 结果 总 数 , Labeled 表示 测试 集中 该 类 的 总 数 。 准 确 率 用 3 


来 
] 来 衡量 分 类 器 是 否 能 找 全 
如 


该 类 样本 ， 因 此 这 两 个 指标 应 该 兼顾 。 用 书 测度 《准确 
回 


Google 开源 的 word2vec tool 来 进行 词 向 量 
库 进 行 预 处 理 ， 并 以 此 作为 本 文 提出 的 模型 的 输入 层 。 
上 下 文 窗口 大 小 设置 
预先 训练 好 


的 是 word2vec tool 的 skip-gram 模 


Se 


的 词 向 量 中 ， 则 采 
本 文 对 数据 集 进 行 ] 


Ma 


为 5, 词 向 量 维度 大 小 设 为 5, 如 果 出 现 有 词语 不 帮 
随机 初始 化 的 方式 来 进行 表示 。 
组 实验 。 第 一 组 


练 的 语料库 ， 利 用 
的 训练 , 然后 对 语 料 


(13) 


本 文采 


| 是 基于 不 同 的 文本 


表示 方法 对 文本 进行 了 分 类 ， 确 定 词 

二 组 是 基于 不 同 的 分 类 方法 对 文本 进 

情感 分 析 模 型 的 有 效 性 。 先 来 看 第 一 
BOW-LSTM: 将 词 利 / 

后 ， 利 用 长 短期 记忆 网 络 进行 训练 。 
if-idf-LSTM: 将 词 利 

用 长 短期 记忆 网 络 进行 训 
W2V+LSTM : 将 词 利用 


向 量 训练 的 最 佳 方案 ; 


行 分 类 ， 验 订 


第 
FE 本文 提出 的 


组 实验 。 


] bag-of-words 模型 转化 为 词 向 量 以 


] if-idf 模型 转化 为 词 向 量 以 后 ， 利 


word2vec 训练 转换 为 词 向 量 以 后 ， 


利用 长 短期 记忆 网 络 进行 训练 。 
表 2 基于 不 同文 本 表示 方法 的 分 类 结果 
模型 准确 率 召回 率 五 测度 
BOW-LSTM 0.7754 0.7723 0.7738 
if-idf-LSTM 0.8423 0.8326 0.8374 
W2V-LSTM 0.8643 0.8621 0.8632 


对 表 2 中 的 实验 结果 进行 分 析 : if-idf 模型 在 bag-of-words 


的 基础 上 对 文本 中 的 词 进行 了 加 权 来 表示 文本 。 但 是 这 两 种 方 


法 都 忽略 了 文本 中 词语 间 的 语义 关系 ， 因 此 ， 从 模型 评价 结果 
来 看 ，W2V-LSTM 得 到 的 结果 是 三 者 中 表现 最 好 的 。 
word2vec 的 方法 训练 词 问 量 后 得 到 的 模型 多 


木 取 


方案 也 选用 
第 二 组 实 


word2vec 的 方法 对 词 向 量 进行 训练 。 
验 是 将 本 文 提出 的 系统 与 传统 的 基 
的 支持 向 量 机 (SVM) 的 机 器 学 习 方法 ， 以 及 基 


的 卷 积 神经 网 络 的 方法 


进 


行 对 比 ， 


于 采用 


果 最 佳 ， 因 此 本 文 


于 word2vec 
于 word2vec 
利 用 


ChnSentiCorp-Htl-ba-6000 数据 集 进 行 10 倍 交叉 验证 来 进行 实 


俏 分 析 ， 得 到 的 实验 结果 如 表 3 所 示 
W2V-SVM: 将 词 利 
SVM 进行 训练 分 类 。 


利用 


o 


] word2vec 训练 转换 为 词 向 量 以 后 ， 


ChinaXiv 人 合作 基干 
| CNINaAIVE TFMTY 
录用 稿 胡 荣 磊 ， 等 : 基于 循环 神经 网 络 和 注意 力 模型 的 文本 情感 分 析 
W2V-Att-CNN: 将 词 利用 word2vec 训练 转换 为 词 向 量 以 标准 间 太 差 ， 房 标准 间 ， 差 ， 房间; 
i > a Se 本 间 还 不 如 三 星 不 如 ; 三 星 ; 设施 ; 
后 ， 利 用 基于 卷 积 神经 网 络 和 注意 力 模型 的 结构 进行 训练 ， 该 的 ， 而 且 陈旧 ， 建 议 ， 酒 店 ; 
模型 参照 的 是 冯 兴 杰 等 0 提出 的 情感 分 析 模 型 设施 非常 陈旧 。 消极 老 ; 标准 间 ; 重新 。 消极 
Ue 人 ° 建议 酒店 把 老 改善 。 
W2V- LSTM: 将 词 利 用 word2vec 训练 转换 为 词 向 量 以 后 ， 的 标准 间 重 新 
、 a 改善 。 
利用 长 短期 记忆 网 络 进行 训练 。 = 
W2V-Att-LSTM: 将 词 利用 word2vec 训练 转换 为 词 向 量 以 ”4 ”结束 语 
后 ， 利 用 基于 长 短期 记忆 网 络 和 注意 力 模型 的 结构 进行 训练 。 


本 文 提出 了 一 种 基于 长 短期 记忆 网 络 和 注意 力 模型 的 文本 
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表 3 基于 不 同 分 类 方法 的 分 类 结果 


_ 。 情感 分 析 方法 。 实 验 结果 表明 了 本 文 提出 的 方法 的 有 效 性 和 可 
人 让 而 车 人 四 这 卫 测度 行 性 ,可 以 更 好 地 进行 文本 倾向 性 的 研究 ， 对 基于 深度 学 习 的 
W2V-SVM 0.8125 0.8119 0.8121 文本 情感 分 析 有 了 一 定 的 贡献 。 
vena 0 深度 学 习 模型 在 中 文 情感 分 析 的 发 展 目前 还 处 于 起 步 阶 
0 0 段 ， 中 文 语法 结构 的 复杂 性 、 词 语意 思 的 多 样 性 ， 对 文本 情感 
一 os, 分 析 的 发 展 都 有 一 定 的 阻碍 。 对 于 研究 者 来 说 ， 中 文 文本 情感 
通过 实例 介绍 本 文 提出 的 模型 的 工作 步 又， 并 对 表 3 的 实 。 分 析 还 在 很 大 的 发 展 前 景 ， 很 值得 我 们 进一步 的 研究 


验 结果 进行 分 析 。 表 4 中 展示 了 4 种 比较 典型 的 带 有 情感 的 文 

本 信息 。 参考 文献 : 
首先 ， 在 对 文本 进行 预 处 理 后 ， 采 用 结巴 分 词 系统 对 文本 
句子 进行 分 词 ， 分 词 结果 如 表 4 所 示 。 分 词 后 采用 word2vec 
对 词 向 量 进行 训练 ， 将 训练 后 的 词 向 量 作为 模型 输入 ， 经 过 本 
文 提出 的 LSTM 模型 和 前 馈 注意 力 模 型 后 的 分 析 ， 最 终 ， 在 分 
类 层 将 输出 的 文本 数据 分 为 积极 或 消极 ， 通 过 与 已 经 标注 好 的 
数据 的 比较 ， 可 以 证 明 本 文 模型 的 有 效 性 。 通 过 对 数据 样 例 的 
分 析 ， 很 容易 看 出 本 文 的 分 析 结 果 在 准确 性 方面 是 有 保障 的 。 
对 表 3 中 的 实验 结果 进行 分 析 ， 发 现 利 用 W2V-SVM 运行 
结果 优 于 CBOW-SVM 运行 结果 , 这 是 因为 利用 word2vec 训练 
出 的 词 向 量 相 比 于 CBOW 模型 而 言 考 虑 了 上 下 文 的 语义 信息 ， 
因此 进行 情感 分 析 可 以 获得 更 好 的 结果 ; 对 比 W2V-LSTM 的 
结果 优 于 W2V-SVM， 原 因 在 于 利用 长 短期 记忆 网 络 是 深度 训 
练 模型 ， 得 到 了 更 有 意义 的 相关 特征 并 考虑 到 了 上 下 文 之 间 的 
关联 ， 从 而 得 到 了 更 好 的 结果 ; W2V-Att-LSTM 结果 优 于 
W2V-LSTM， 是 因为 引入 的 前 馈 注 意 力 模 型 机 制 后 考虑 到 了 文 
本 句子 和 结果 的 相关 性 ， 将 前 馈 注 意 力 模型 与 长 短期 记忆 模型 
结合 之 后 ， 得 到 了 更 好 的 效果 。 另 外 ， 将 W2V-Att-LSTM 与 
W2V-Att-CNN 的 结果 比较 , 能 看 出 本 文 长 短期 记忆 网 络 结合 注 
意 力 机 制 的 模型 比 卷 积 神经 网 络 结合 注意 力 机 制 的 模型 表现 更 
佳 ， 更 适合 用 于 文本 情感 分 析 。 

表 4 实例 分 析 展 示 
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